Quantifying cloud performance and dependability:Taxonomy, metric design, and emerging challenges

In only a decade, cloud computing has emerged from a pursuit for a service-driven information and communication technology (ICT), becoming a significant fraction of the ICT market. Responding to the growth of the market, many alternative cloud services and their underlying systems are currently vying for the attention of cloud users and providers. To make informed choices between competing cloud service providers, permit the cost-benefit analysis of cloud-based systems, and enable system DevOps to evaluate and tune the performance of these complex ecosystems, appropriate performance metrics, benchmarks, tools, and methodologies are necessary. This requires re-examining old system properties and considering new system properties, possibly leading to the re-design of classic benchmarking metrics such as expressing performance as throughput and latency (response time). In this work, we address these requirements by focusing on four system properties: (i) elasticity of the cloud service, to accommodate large variations in the amount of service requested, (ii) performance isolation between the tenants of shared cloud systems and resulting performance variability, (iii) availability of cloud services and systems, and (iv) the operational risk of running a production system in a cloud environment. Focusing on key metrics for each of these properties, we review the state-of-the-art, then select or propose new metrics together with measurement approaches. We see the presented metrics as a foundation toward upcoming, future industry-standard cloud benchmarks

Performance Prediction of Cloud-Based Big Data Applications

Big data analytics have become widespread as a means to extract knowledge from large datasets. Yet, the heterogeneity and irregular- ity usually associated with big data applications often overwhelm the existing software and hardware infrastructures. In such con- text, the exibility and elasticity provided by the cloud computing paradigm o er a natural approach to cost-e ectively adapting the allocated resources to the application’s current needs. However, these same characteristics impose extra challenges to predicting the performance of cloud-based big data applications, a key step to proper management and planning. This paper explores three modeling approaches for performance prediction of cloud-based big data applications. We evaluate two queuing-based analytical models and a novel fast ad hoc simulator in various scenarios based on di erent applications and infrastructure setups. The three ap- proaches are compared in terms of prediction accuracy, nding that our best approaches can predict average application execution times with 26% relative error in the very worst case and about 7% on average

Cloud computing technologies with emphasis on the dynamic evaluation of cloud services based on application performance analysis and benchmarking

Cloud services have emerged as an innovative IT provisioning model in the recent years. However, after their usage severe considerations have emerged with regard to their varying performance due to multitenancy and resource sharing issues. These issues make it very difficult to provide any kind of performance estimation during application design or deployment time. In that frame and considering the heterogeneous technology offer and the pricing models currently available in the cloud market a novel mechanism for finding the deployment that fits the application requirements and provides the best Quality of Service (QoS) and cost trade-offs is presented. Based on this a complete definition of cloud performance is presented and various relative subjects are analysed such as the benchmarking of Cloud Providers and the application computational analysis. This thesis focuses on the performance of Cloud services and seeks to introduce and analyze innovative mechanisms for the effective selection of a cloud provider that offers the best environment to host an arbitrary application in terms of performance and cost. On the one hand, the way in which a migrated application component uses the available computing resources may not be known and it might be difficult to choose the best Cloud provider for the component. On the other hand, are Cloud providers interested in knowing the application types that run in their data center in order to avoid interference effects oc concurrently running VMs on performance. So, the current thesis addresses these issues by presenting the mechanisms and methods which identify the computational profile of an arbitrary application component, classify it according to a known limited number of application categories, each represented by a relevant benchmark and provide the best matching with a cloud service solution in terms of performance and cost.Consequently, the experimental results are provided that demonstrate and evaluate the performance and effectiveness of the proposed mechanism for two real application scenarios. Given the experimental results, it appears that the mechanism maps the application profile to a predefined benchmark category and as a result defines the concrete cloud service taking into account the user preferences in terms of performance and cost. The experiments showed promising results and therefore the performance of the mechanism is considered to be well established allowing the adoption of it as a cloud service that seeks to bring QoS knowledge.In addition, the thesis presents a combined methodology which provides an integrated solution for the design and the migration of enterprise applications to Cloud, proving that our innovative mechanism can work complementary with analytical modeling and desing space exploration approaches.Furthermore, the thesis analyzes the performance interference between concurrently running virtual resources and applications in Clouds environments. The same set of application benchmarks as used for Cloud Providers’ benchmarking is chosen that depicts characteristic usage of the hardware resources and the degradation of their performance is measured due to interference effects of concurrently running VM in the same physical host. The outcomes of this experimental process can be used by Cloud Providers as a priori knowledge of theoverhead inserted by the execution of a specific task combination on a physical host.ΠερίληψηΟι υπηρεσίες του Νέφους έχουν αναδειχθεί ως ένα καινοτόμο μοντέλο στην Πληροφορία της Τεχνολογίας τα τελευταία χρόνια. Ωστόσο, μετά την εκτεταμένη χρήση τους σοβαρά ζητήματα έχουν προκύψει σε σχέση με τη διακύμανση της επίδοσής τους λόγω της πολλαπλής μίσθωσης (multi-tenancy) και της κατανομής των πόρων. Τα ζητήματα αυτά, καθιστούν πολύ δύσκολη την παροχή κάθε είδους εκτίμησης των επιδόσεων κατά τη διάρκεια του σχεδιασμού ή της εγκατάστασης της εφαρμογής. Σε αυτό το πλαίσιο και λαμβάνοντας υπόψη τις ετερογενείς προσφορές και τα μοντέλα τιμολόγησης που διατίθενται σήμερα στην αγορά του Νέφους, παρουσιάζουμε ένα καινοτόμο μηχανισμό για την εύρεση της κατάλληλης υπηρεσίας που ταιριάζει στις απαιτήσεις της εφαρμογής και παρέχει την καλύτερη Ποιότητα Υπηρεσιών (QoS) σε συνδυασμό με το κόστος. Βάσει αυτού παρέχεται ένας πλήρης ορισμός της απόδοσης στο Υπολογιστικό Νέφος και αναλύονται σχετικά θέματα, όπως η εφαρμογή της μεθόδου της Συγκριτικής Αξιολόγησης στους Παρόχους του Νέφους αλλά και η υπολογιστική ανάλυση των εφαρμογών.Αυτή η διατριβή εστιάζει στην μελέτη της απόδοσης των υπηρεσιών του Νέφους και επιδιώκει να εισαγάγει και να αναλύσει καινοτόμους μηχανισμούς για την αποτελεσματική επιλογή ενός Παρόχου Νέφους που προσφέρει το καλύτερο περιβάλλον όσον αφορά στην απόδοση και στο κόστος για να φιλοξενηθεί μια αυθαίρετη εφαρμογή.Από τη μία πλευρά, ο τρόπος με τον οποίο μία εφαρμογή χρησιμοποιεί τους διαθέσιμους υπολογιστικούς πόρους ίσως να μην είναι γνωστός, γεγονός που καθιστά δύσκολη την επιλογή του κατάλληλου παρόχου. Από την άλλη πλευρά, είναι πολύ πιθανό οι πάροχοι του Νέφους να ενδιαφέρονται να γνωρίζουν τους τύπους των εφαρμογών που φιλοξενούνται στα data centers τους, προκειμένου να αποφεύγονται οι ανεπιθύμητες παρεμβολές στην απόδοση εξαιτίας της ταυτόχρονης εκτέλεσης των εικονικών μηχανών σε ένα φυσικό κόμβο. Η παρούσα διατριβή πραγματεύεται τα θέματα αυτά με την παρουσίαση ενός μηχανισμού και των κατάλληλων μεθόδων που προσδιορίζουν το υπολογιστικό προφίλ μιας αυθαίρετης εφαρμογής, το κατατάσσουν σύμφωνα με ένα περιορισμένο αριθμό γνωστών benchmark εφαρμογών σε μία τυπική κατηγορία εφαρμογών και παρέχουν την καλύτερη αντιστοίχιση του με μία υπηρεσία του Νέφους ως προς την επίδοση και το κόστος.Τα πειραματικά αποτελέσματα ήταν ενθαρρυντικά και ως εκ τούτου η απόδοση του μηχανισμού θεωρείται ότι είναι καλά εδραιωμένη επιτρέποντας την υιοθέτηση της ως υπηρεσία του Νέφους η οποία επιδιώκει την εισαγωγή της γνώσης αναφορικά με τη σύγκριση της απόδοσης και της ποιότητα των παρεχόμενων υπηρεσιών. Επιπλέον, η διατριβή παρουσιάζει μια συνδυαστική μεθοδολογία, η οποία παρέχει μια ολοκληρωμένη λύση για το σχεδιασμό και τη μεταφορά των εφαρμογών στο Νέφος, αποδεικνύοντας ότι ο καινοτόμος μηχανισμός που αναπτύχθηκε στην παρούσα διατριβή μπορεί να λειτουργήσει συμπληρωματικά με την αναλυτική μοντελοποίηση και τις προσεγγίσεις για την εξερεύνηση του χρόνου σχεδίασης.Επιπρόσθετα, η διατριβή αυτή αναλύει την αλληλεπίδραση των εφαρμογών στα Υπολογιστικά Νέφη. Επιλέγεται το ίδιο σύνολο των Benchmark εφαρμογών που χρησιμοποιήθηκε για την συγκιρτική αξιολόγηση των Παρόχων του Νέφους και ανιχνεύεται η μείωση της απόδοσής τους λόγω του διαμοιρασμού των φυσικών πόρων. Με βάση τα πειραματικά δεδομένα, ο Πάροχος του Νέφους μπορεί να γνωρίζει εκ των προτέρων την επίδοση ενός συγκεκριμένου συνδυασμού εργασιών που ανατίθενται σε ένα φυσικό κόμβο

Evaluation of different methods of gene expression data classification using cDNA microarrays

94 σ.Στην παρούσα διπλωματική εργασία γίνεται αναφορά σε διαφορετικές μεθοδολογίες κατηγοριοποίησης δεδομένων γονιδιακής έκφρασης με τη χρήση cDNA μικροσυστοιχιών (microarrays). Η τεχνολογία μικροσυστοιχιών επιτρέπει τη μέτρηση των επιπέδων έκφρασης χιλιάδων γονιδίων μόνο σε ένα πείραμα, δημιουργώντας έτσι μια αφθονία δεδομένων.Τα δεδομένα προκύπτουν από έρευνες που πραγματοποιήθηκαν σε διαφορετικά ερευνητικά κέτρα και αφορούν σε δείγματα από τρία είδη καρκινικών όκγων. Αρχικά, στην εισαγωγή της εργασίας, περιγράφεται όλο το σχετικό βιολογικό υπόβαθρο, και ακολουθεί εκτενής αναφορά στις τεχνικές με βάση τον προσδιορισμό αλληλουχίας για την παρακολούθηση των επιπέδων γονιδιακής έκφρασης, καθώς και στις διαφορετικές τεχνολογίες μικροσυστοιχιών. τη συνέχεια, γίνεται αναλυτική ταξινόμηση του καρκίνου του μαστού, έρευνες που αναφέρονται στον προσδιορισμό γονιδίων ανιχνευτών, καθώς και στη χρήση τεχνολογιών και διαφόρων αλγορίθμων. Απώτερος στόχος είναι η βελτίωση του τρόπου θεραπευτικής αντιμετώπισης των συγκεκριμένων καρκινικών τύπων, μέσω της ανακάλυψης νέων υποκατηφοριών και της καλύτερης ταξινόμησης των υπάρχοντων ειδών καρκίνου.This paper refers to different methods of gene expression data classification using cDNA microarrays. The microarray technology allows measuring the expression levels of thousands of genes in a single experiment, thus creating an abundance of data. The data is obtained from surveys conducted in different research centers on samples from three types of cancerous tumors. More specifically, the introduction encompasses all the biological background necessary, followed by a comprehensive reference to different microarray technologies. Subsequently, there is a detailed classification of breast cancer, leukemia and lung cancer. Also presented is, for each category of cancer, research indicative of gene probes identification, as well as of the use of various technologies and algorithms. The ultimate goal is to improve the way of treating certain types of cancer through the discovery of new subtypes and the refinement of the classification of existing types of cancer.Αθανασία-Χαραλαμπία Δ. Ευαγγελινο

A Joint Benchmark-Analytic Approach For Design-Time Assessment of Multi-Cloud Applications

AbstractVerifying that a software system shows certain non-functional properties is a primary concern for cloud applications. Given the heterogeneous technology offer and the pricing models currently available in the cloud market it is extremely complex to find the deployment that fits the application requirements and provides the best Quality of Service (QoS) and cost trade-offs. This task can be very challenging, even infeasible if performed manually, since the number of solutions may become extremely large depending on the number of possible providers and available technology stacks. Furthermore, with the increasing adoption of cloud computing, there is a need for fair evaluation of cloud systems. Today's cloud services differ among others by cost, performance, consistency guarantees, load-balancing, caching, fault tolerance, and SLAs. Moreover, cloud systems are inherently multi-tenant and their performance can vary over time, depending on the congestion level, provider policies, and the competition among running applications. System architects and developers are challenged with this variety of services and trade-offs. Hence, the purpose of a cloud benchmark should be to help developers when choosing the right architecture and services for their applications. In this paper we propose a joint benchmarking and optimization methodology to support the design and migration of legacy applications to Cloud. Our approach is effective in identifying the deployment of minimum costs, which provide also QoS guarantees

Enterprise applications cloud rightsizing through a joint benchmarking and optimization approach

Migrating an application to the cloud environment requires non-functional properties consideration such as cost, performance and Quality of Service (QoS). Given the variety and the plethora of cloud offerings in addition with the consumption-based pricing models currently available in the cloud market, it is extremely complex to find the optimal deployment that fits the application requirements and provides the best QoS and cost trade-offs. In many cases the performance of these service offerings may vary depending on the congestion level, provider policies and how the application types that are intended to be executed upon them use the computing resources. A key challenge for customers before moving to Cloud is to know application behavior on cloud platforms in order to select the best-suited environment to host their application components in terms of performance and cost. In this paper, we propose a combined methodology and a set of tools that support the design and migration of enterprise applications to Cloud. Our tool chain includes: (i) the performance assessment of cloud services based on cloud benchmark results, (ii) a profiler/classifier mechanism that identifies the computing footprint of an arbitrary application and provides the best matching with a cloud service solution in terms of performance and cost, (iii) and a design space exploration tool, which is effective in identifying the deployment of minimum costs taking into account workload changes and providing QoS guarantees

Common USERS feasibility study. Executive summary Final report

Available from TIB Hannover: DtF QN1(40,38) / FIZ - Fachinformationszzentrum Karlsruhe / TIB - Technische InformationsbibliothekSIGLEBundesministerium fuer Forschung und Technologie (BMFT), Bonn (Germany); Deutsche Agentur fuer Raumfahrtangelegenheiten (DARA) GmbH, Bonn (Germany); Ministry of International Trade and Industry, Tokyo (Japan)DEGerman